"""
    '全本小说网': {              #小说源  名称
        're_method': 'get',     #小说搜索的请求方式
        'html_coding': 'gbk',   #小说网页的编码
        're_url': 'https://www.qb5.tw/modules/article/search.php?searchtype=articlename&{}&page={}',    #请求的url  第一个{}  代表小说名称这个字段  第一{}代表页码（分页的时候才会有页码）
        're_field': 'searchkey',    #代表小说名称的字段
        'novel_list_name_xpath': "//table[@class='grid']/tr/td[@class='odd'][1]/a/text()",  #获取搜索页小说名称的xpath
        'novel_list_url_xpath': "//table[@class='grid']/tr/td[@class='odd'][1]/a/@href",    #获取搜索页小说url的xpath
        'dispose_name': "",         #需要对小说名称进行处理的正则
        'base_url': 'https://www.qb5.tw',   #需要对获取的小说url 加上网站地址的处理
        'dispose_url': '',          #需要对获取的小说url 做一些处理
        'other_str': '',            #可能对url需要加上一些字符
        'isPaging': {'page_xpath': "//div[@id='pagelink']/a[@class='last']/@href", 'code_reg': "page=([0-9]*)"},    #page_xpath  获取分页总页码的xpath  code_reg：通过正则获取真正的页码
        'isByte': True      #是否需要将utf-8字符编码为gbk
    }
"""

novel_source = {
    '棉花糖': {
        're_method': 'post',
        'html_coding': 'utf-8',
        're_url': 'http://www.mhtwx.la/search.php',
        're_field': 'searchkey',
        'isByte': False,
        'novel_list_name_xpath': "//tr/td[@class='even']/a/text()",
        'novel_list_url_xpath': "//tr/td[@class='even']/a/@href",
        'novel_author_xpath': "//tr/td[@class='even'][2]/text()",
        'dispose_author': '',
        'novel_latestChapter_xpath': "//tr/td[@class='odd']/a/text()",
        'dispose_latestChapter': '',
        'novel_updateTime_xpath': "//tr/td[@class='odd'][2]/text()",
        'dispose_updateTime': '',
        'dispose_name': '',
        'base_url': '',
        'dispose_url': '',
        'other_str': '',
        'isPaging': {},
    },
    '笔趣阁_la': {
        're_method': 'get',
        'html_coding': 'utf-8',
        're_url': 'https://www.biquge.la/ar.php?{}',
        're_field': 'keyWord',
        'isByte': False,
        'novel_list_name_xpath': "//ul[@class='txt-list txt-list-row5'][1]/li/span[@class='s2']/a/text()",
        'novel_list_url_xpath': "//ul[@class='txt-list txt-list-row5'][1]/li/span[@class='s2']/a/@href",
        'novel_author_xpath': "//div[@class='layout layout2 layout-co18']/ul[@class='txt-list txt-list-row5'][1]/li/span[@class='s4']/text()",
        'dispose_author': '',
        'novel_latestChapter_xpath': "//div[@class='layout layout2 layout-co18']/ul[@class='txt-list txt-list-row5'][1]/li/span[@class='s3']/a/text()",
        'dispose_latestChapter': '',
        'novel_updateTime_xpath': "//div[@class='layout layout2 layout-co18']/ul[@class='txt-list txt-list-row5'][1]/li/span[@class='s5']/text()",
        'dispose_updateTime': '',
        'dispose_name': '',
        'base_url': 'https://www.biquge.la',
        'dispose_url': '',
        'other_str': '',
        'isPaging': {},
    },
    '求书网': {
        're_method': 'post',
        'html_coding': 'utf-8',
        're_url': 'http://www.xqiushu.com/search.php',
        're_field': 'searchkey',
        'isByte': False,
        'novel_list_name_xpath': "//ul[@class='read_list']/li/dl/dd[@class='w1']/span[@class='t1']/a[@class='c1']/text()",
        'dispose_name': '《(.*)》',
        'novel_list_url_xpath': "//ul[@class='read_list']/li/dl/dd[@class='w1']/span[@class='t1']/a[@class='c1']/@href",
        'novel_author_xpath': "//div[@class='section_lt1 box mt6']/ul[@class='read_list']/li/dl/dd[@class='w1']/span[@class='t2']/text()",
        'dispose_author': '作者：(.*) ',
        'novel_latestChapter_xpath': "//ul[@class='read_list']/li/dl/dd[@class='w1']/span[@class='t4']/div[@class='tl']/a[@class='c1']/text()",
        'dispose_latestChapter': '',
        'novel_updateTime_xpath': "//div[@class='section_lt1 box mt6']/ul[@class='read_list']/li/dl/dd[@class='w1']/span[@class='t2']/text()",
        'dispose_updateTime': '更新时间：(.*)',
        'base_url': 'http://www.xqiushu.com',
        'dispose_url': '',
        'other_str': '',
        'isPaging': {},
    },
    '顶点小说': {
        're_method': 'post',
        'html_coding': 'utf-8',
        're_url': 'https://m.2wxs.com/s.php',
        're_field': 'keyword',
        'isByte': False,
        'novel_list_name_xpath': "//div[@class='recommend mybook']/div[contains(@class,'hot_sale') or contains(@class,'hot_sale hot_saleEm')]/a/p[@class='title']/text()",
        'dispose_name': '',
        'novel_list_url_xpath': "//div[@class='recommend mybook']/div[contains(@class,'hot_sale') or contains(@class,'hot_sale hot_saleEm')]/a/@href",
        'base_url': 'https://2wxs.com/xstxt/',
        'dispose_url': '/(\w*)\.',
        'other_str': '/',
        'novel_author_xpath': "//div[@class='recommend mybook']/div[@class='hot_sale hot_saleEm']/a/p[@class='author'][1]/text()",
        # 作者
        'dispose_author': '作者：(.*)',
        'novel_latestChapter_xpath': "//div[@class='recommend mybook']/div[@class='hot_sale hot_saleEm']/a/p[@class='author'][2]/text()",
        # 最后更新章节
        'dispose_latestChapter': '更新：(.*)',
        'novel_updateTime_xpath': "",  # 最后更新时间
        'dispose_updateTime': '',
        'base_url': 'https://2wxs.com/xstxt/',
        'dispose_url': '/(\w*)\.',
        'other_str': '/',
        'isPaging': {},
    },
    '笔趣阁_biz': {
        're_method': 'get',
        'html_coding': 'utf-8',
        're_url': 'https://www.biquge.biz/search.php?{}&p={}',
        're_field': 'q',
        'isByte': False,
        'novel_list_name_xpath': "//div[@class='result-item result-game-item']/div[@class='result-game-item-detail']/h3[@class='result-item-title result-game-item-title']/a[@class='result-game-item-title-link']/@title",
        'novel_list_url_xpath': "//div[@class='result-item result-game-item']/div[@class='result-game-item-detail']/h3[@class='result-item-title result-game-item-title']/a[@class='result-game-item-title-link']/@href",
        'novel_author_xpath': "//div[@class='result-list']/div[@class='result-item result-game-item']/div[@class='result-game-item-detail']/div[@class='result-game-item-info']/p[@class='result-game-item-info-tag'][1]/span[2]/text()",
        'dispose_author': '',
        'novel_latestChapter_xpath': "//div[@class='result-list']/div[@class='result-item result-game-item']/div[@class='result-game-item-detail']/div[@class='result-game-item-info']/p[@class='result-game-item-info-tag'][3]/span[@class='result-game-item-info-tag-title']/text()",
        'dispose_latestChapter': '',
        'novel_updateTime_xpath': "//div[@class='result-list']/div[@class='result-item result-game-item']/div[@class='result-game-item-detail']/div[@class='result-game-item-info']/p[@class='result-game-item-info-tag'][4]/a[@class='result-game-item-info-tag-item']/text()",
        'dispose_updateTime': '',
        'dispose_name': '',
        'base_url': 'https://www.biquge.biz',
        'dispose_url': '',
        'other_str': '',
        'isPaging': {'page_xpath': "//div[@class='search-result-page-main']/a[last()]/@href", 'code_reg': "p=([0-9]*)"},
    },
    '全本小说网': {
        're_method': 'get',
        'html_coding': 'gbk',
        're_url': 'https://www.qb5.tw/modules/article/search.php?searchtype=articlename&{}&page={}',
        're_field': 'searchkey',
        'isByte': True,
        'novel_list_name_xpath': "//table[@class='grid']/tr/td[@class='odd'][1]/a/text()",
        'novel_list_url_xpath': "//table[@class='grid']/tr/td[@class='odd'][1]/a/@href",
        'novel_author_xpath': "//table[@class='grid']/tr/td[@class='odd'][2]/text()",
        'dispose_author': '',
        'novel_latestChapter_xpath': "//table[@class='grid']/tr/td[@class='even'][1]/a/text()",
        'dispose_latestChapter': '',
        'novel_updateTime_xpath': "//table[@class='grid']/tr/td[@class='odd'][3]/text()",
        'dispose_updateTime': '',
        'dispose_name': "",
        'base_url': 'https://www.qb5.tw',
        'dispose_url': '',
        'other_str': '',
        'isPaging': {'page_xpath': "//div[@id='pagelink']/a[@class='last']/@href", 'code_reg': "page=([0-9]*)"}
    }
}

"""
{
    小说源{
        s_domain:小说网站域名
        s_name_xpath：获取所下载小说名称的xpath
        s_url_xpath1：获取所下载小说章节的xpath
        s_url_xpath2：可能存在另外一个小说章节的xpath
        s_base_url：需要和小说章节拼接的url
        s_other_str：该url可能需要其他字符
        s_chapter_name_xpath：获取章节名称的xpath
        s_chapter_content_xpath：获取章节内容的xpath
        s_replace：多章节内容做处理的字符串
    }
}
"""

scrapy_source = {
    '笔趣阁_la': {
        's_domain': 'biquge.la',
        's_name_xpath': "//div[@class='detail-box']/div[@class='info']/div[@class='top']/h1/text()",
        's_url_xpath': "//ul[@class='section-list fix']/ul/li/a/@href",
        's_self_url': False,
        's_base_url': "https://www.biquge.la",
        's_other_str': '',
        's_chapter_name_xpath': "//div[@class='layout layout-col1']/div[@class='reader-main']/h1[@class='title']/text()",
        's_chapter_content_xpath': "//div[@class='reader-main']/div[@id='content']/text()",
        's_replace': ['一秒记住，精彩小说随时阅读，手机用户请访问。']
    },
    '求书网': {
        's_domain': 'qiushu.com',
        's_name_xpath': "//div[@class='xiaoshuo']/div[@class='title']/h1/text()",
        's_url_xpath': "//div[@class='book_con_list'][2]/ul/li/a/@href",
        's_self_url': True,
        's_base_url': "",
        's_other_str': '/',
        's_chapter_name_xpath': "//div[@class='tit2']/div[@class='date']/h1/text()",
        's_chapter_content_xpath': "//div[@class='box book_list']/div[@id='content']/text()",
        's_replace': [
            '百度搜索【云来阁】小说网站，让你体验更新最新最快的章节小说，所有小说秒更新',
            '(www.QiuShu.cc 求书小说网)',
            '(未完待续。)',
            '[看本书最新章节请到求书 小说网www.Qiushu.cC]',
            '请用搜索引擎完美，各种小说任你观看',
            '[求书网www.Qiushu.cc想看的书几乎都有啊，比一般的小说网站要稳定很多更新还快，全文字的没有广告。]',
            '[www.qiushu.cc 超多好看小说]',
            '[求书小说网www.qiushu.cc想看的书几乎都有啊，比一般的小说网站要稳定很多更新还快，全文字的没有广告。]',
            '（wwW.qiushu.cc 无弹窗广告）',
            '（WWW.qiushu.CC 好看的小说',
            '(www.QiuShu.cc 求、书=‘网’小‘说’)',
            '[求书网qiushu.cc更新快，网站页面清爽，广告少，无弹窗，最喜欢这种网站了，一定要好评]',
            'qiushu.cc [天火大道小说]',
            '求书网小说qiushu.cc',
            'mianhuatang.cc [棉花糖小说网]',
            '[棉花糖小说网Mianhuatang.cc更新快，网站页面清爽，广告少，无弹窗，最喜欢这种网站了，一定要好评]',
            '[看本书最新章节请到棉花糖小说网www.mianhuatang.cc]',
            '（WWW.mianhuatang.CC 好看的小说',
            '[棉花糖小说网Mianhuatang.cc更新快，网站页面清爽，广告少，',
            '棉花糖小说网www.mianhuatang.cc]',
            '[www.mianhuatang.cc 超多好看小说]',
            '[棉花糖小说网www.Mianhuatang.cc想看的书几乎都有啊，比一般的小说网站要稳定很多更新还快，全文字的没有广告。]',
            '(www.MianHuaTang.cc 棉花糖小说)',
            '[八零电子书wWw.80txt.com]',
            '看清爽的小说就到【 www.80txt.com】',
            '（wwW.80txt.com 无弹窗广告）',
            '[txt全集下载wWw.80txt.coM]',
            'txt小说下载80txt.com',
            'txt下载80txt.com',
            '（棉花糖小说网 Www.MianHuaTang.C',
            'txt全集下载www.80txt.com',
            '[棉花糖小说网www.Mianhuatang.com',
            '9; 提供Txt免费下载）',
            '天才一秒记住本站地址：.。笔趣阁手机版阅读网址：m.',
            '想看的书几乎都有啊，比一般的小说网站要稳定很多更新还快，全文字的没有广告。]',
            '无弹窗，最喜欢这种网站了，一定要好评]',
            '▲手机下载APP看书神器，百度搜关键词：书掌柜app或直接访问官方网站▲',
            '：访问网站',
            'ァ新ヤ~⑧~1~中文網ωωω.χ~⒏~1zщ.còм',
            'qiushu.cc [天火大道]',
            '[八零电子书wWw.80txt.COM]',
            '[txt全集下载wWw.80txt.com]',
            'www.しwxs520.com',
            'www.lw＋xs520.com',
            '|（中）（文） | .1（中）（文）.c o m',
            'www.lwxs520.com',
            'w-w-w.lwxs520.c-o-m',
            '（WWW.mianhuatang.cc 好看的小说',
            '（棉花糖小说网 Www.mianhuatang.cc 提供Txt免费下载）',
            '[棉花糖小说网www.mianhuatang.cc',
            '(www.mianhuatang.cc 棉花糖小说)',
            '【愛↑去△小↓說△網w ww.aixs】',
            '[棉花糖小说网mianhuatang.cc更新快，网站页面清爽，广告少，',
            'mianhuatang.cc [棉花糖小说]'
        ]
    },
    '棉花糖': {
        's_domain': 'mhtwx.la',
        's_name_xpath': "//div[@class='xiaoshuo']/h1/text()",
        's_url_xpath': "//div[@class='quanwen']/div[@class='novel_list']/dl/dd/a/@href",
        's_self_url': True,
        's_base_url': "",
        's_other_str': '',
        's_chapter_name_xpath': "//div[@class='read']/div[@class='read_title']/h1/text()",
        's_chapter_content_xpath': "//div[@class='read']/div[@class='content']/text()",
        's_replace': [
            '（wwW.mianhuatang.cc 无弹窗广告）',
            '(www.mianhuatang.cc 棉、花‘糖’小‘说’)',
            '（WWW.mianhuaang.LA 好看的小说棉花糖',
            '[www.mhtwx.la 超多好看小说]',
            '（WWW.mianhuaang.LA 好看的小说',
            '(www.mianhuatang.cc $>>>棉、花‘糖’小‘說’)',
            '(www.mianhuatang.cc 棉花糖小说网)',
            '百度搜索【云来阁】小说网站，让你体验更新最新最快的章节小说，所有小说秒更新',
            '(www.QiuShu.cc 求书小说网)',
            '(未完待续。)',
            '[看本书最新章节请到求书 小说网www.Qiushu.cC]',
            '请用搜索引擎完美，各种小说任你观看',
            '[求书网www.Qiushu.cc想看的书几乎都有啊，比一般的小说网站要稳定很多更新还快，全文字的没有广告。]',
            '[www.qiushu.cc 超多好看小说]',
            '[求书小说网www.qiushu.cc想看的书几乎都有啊，比一般的小说网站要稳定很多更新还快，全文字的没有广告。]',
            '（wwW.qiushu.cc 无弹窗广告）',
            '（WWW.qiushu.CC 好看的小说',
            '(www.QiuShu.cc 求、书=‘网’小‘说’)',
            '[求书网qiushu.cc更新快，网站页面清爽，广告少，无弹窗，最喜欢这种网站了，一定要好评]',
            'qiushu.cc [天火大道小说]',
            '求书网小说qiushu.cc',
            'mianhuatang.cc [棉花糖小说网]',
            '[棉花糖小说网Mianhuatang.cc更新快，网站页面清爽，广告少，无弹窗，最喜欢这种网站了，一定要好评]',
            '[看本书最新章节请到棉花糖小说网www.mianhuatang.cc]',
            '（WWW.mianhuatang.CC 好看的小说',
            '[棉花糖小说网Mianhuatang.cc更新快，网站页面清爽，广告少，',
            '棉花糖小说网www.mianhuatang.cc]',
            '[www.mianhuatang.cc 超多好看小说]',
            '[棉花糖小说网www.Mianhuatang.cc想看的书几乎都有啊，比一般的小说网站要稳定很多更新还快，全文字的没有广告。]',
            '(www.MianHuaTang.cc 棉花糖小说)',
            '[八零电子书wWw.80txt.com]',
            '看清爽的小说就到【 www.80txt.com】',
            '（wwW.80txt.com 无弹窗广告）',
            '[txt全集下载wWw.80txt.coM]',
            'txt小说下载80txt.com',
            'txt下载80txt.com',
            '（棉花糖小说网 Www.MianHuaTang.C',
            'txt全集下载www.80txt.com',
            '[棉花糖小说网www.Mianhuatang.com',
            '9; 提供Txt免费下载）',
            '天才一秒记住本站地址：.。笔趣阁手机版阅读网址：m.',
            '想看的书几乎都有啊，比一般的小说网站要稳定很多更新还快，全文字的没有广告。]',
            '无弹窗，最喜欢这种网站了，一定要好评]',
            '▲手机下载APP看书神器，百度搜关键词：书掌柜app或直接访问官方网站▲',
            '：访问网站',
            'ァ新ヤ~⑧~1~中文網ωωω.χ~⒏~1zщ.còм',
            'qiushu.cc [天火大道]',
            '[八零电子书wWw.80txt.COM]',
            '[txt全集下载wWw.80txt.com]',
            'www.しwxs520.com',
            'www.lw＋xs520.com',
            '|（中）（文） | .1（中）（文）.c o m',
            'www.lwxs520.com',
            'w-w-w.lwxs520.c-o-m',
            '（WWW.mianhuatang.cc 好看的小说',
            '（棉花糖小说网 Www.mianhuatang.cc 提供Txt免费下载）',
            '[棉花糖小说网www.mianhuatang.cc',
            '(www.mianhuatang.cc 棉花糖小说)',
            '【愛↑去△小↓說△網w ww.aixs】',
            '[棉花糖小说网mianhuatang.cc更新快，网站页面清爽，广告少，',
            'mianhuatang.cc [棉花糖小说]'
        ]
    },
    '顶点小说': {
        's_domain': '2wxs.com',
        's_name_xpath': "//div[@class='bookinfo']/div[@class='btitle']/h1/text()",
        's_url_xpath': "//div[@id='main']/div[@class='inner']/dl[@class='chapterlist']/dt[2]/following-sibling::dd/a/@href",
        's_self_url': False,
        's_base_url': "https://2wxs.com",
        's_other_str': '',
        's_chapter_name_xpath': "//div[@id='main']/div[@id='BookCon']/h1/text()",
        's_chapter_content_xpath': "//div[@id='main']/div[@id='BookCon']/div[@id='BookText']/text()",
        's_replace': []
    },
    '笔趣阁_biz': {
        's_domain': 'biquge.biz',
        's_name_xpath': "//div[@id='maininfo']/div[@id='info']/h1/text()",
        's_url_xpath': "//div[@id='list']/dl/dd/a/@href",
        's_self_url': False,
        's_base_url': "https://www.biquge.biz",
        's_other_str': '',
        's_chapter_name_xpath': "//div[@class='box_con']/div[@class='bookname']/h1/text()",
        's_chapter_content_xpath': "//div[@class='box_con']/div[@id='content']/text()",
        's_replace': ['一秒记住【笔♂趣÷阁 WwW.Biquge.Biz】']
    },
    '全本小说网': {
        's_domain': 'qb5.tw',
        's_name_xpath': "//div[@id='bookdetail']/div[@id='info']/h1/text()",
        's_url_xpath': "//div[@class='zjbox']/dl[@class='zjlist']/dd/a/@href",
        's_self_url': False,
        's_base_url': "https://www.qb5.tw",
        's_other_str': '',
        's_chapter_name_xpath': "//div[@id='main']/h1/text()",
        's_chapter_content_xpath': "//div[@id='readbox']/div[@id='content']/text()",
        's_replace': ['全本小说网 WWW.QB5.TW，最快更新', '最新章节！']
    },
}

# 需不需要分页   分页下一页的url
